Retrieval-Augmented Skill Optimization via Cross-Harness Adaptation
通过跨 harness 适配的检索增强技能优化
🧭 Agent 技能优化 · 跨 harness 检索适配 ★ 深度解读
Korea University · KAIST · Meta AI
检索外部技能语料并用 Cross-Harness Adaptation 适配到目标任务与执行环境,同时强化技能初始化和失败驱动更新
📌 工作参考价值(5 点)
- 构建内部“技能/策略语料库”(如大促玩法 SOP、不同平台投放经验、query 改写案例),按 heading 切成段落级索引;检索时用 BM25 返回 top-K=5,避免整篇文档带来的无关信息,K 再增大会引入噪声。
- 借鉴 Cross-Harness Adaptation:把外部知识/代码片段转成目标系统的对象、命令、单位,做三件事——删 source-specific 名词、只保留当前 requirement 相关、工具参数行为必须被目标 harness 描述确认;这在多平台/多渠道(Web vs App vs 小程序、不同广告 API)迁移 SOP 时尤其实用。
- 用 RASI 做零 rollout 冷启动:新任务或新 agent 先由 LLM 从 task/harness 描述生成 requirement-query 对,检索并适配成 lessons 后直接合成 skill,避免昂贵试错;实验显示即使只开放 1% 语料也有明显收益。
- 更新阶段不要只依赖 rollout 文本梯度:从失败轨迹反推“缺失知识”并生成检索 query,用外部知识补充参数知识,候选 skill 必须过验证集才接受;在成本上可做到与 TextGrad/WikiSkill 同等 rollout 数,甚至 API 成本更低。
- 生产落地注意 benchmark 泄漏:按仓库级别把已知任务/数据集相关技能加入 blocklist,防止检索到作弊或过拟合片段。